Phil Murphy sinh ngày 16 tháng 08 năm 1957 ra ở thị trấn Needham, quận Norfolk, Massachusetts, Hoa Kỳ, tên khai sinh là Philip Dunton Murphu,[7][8] lớn lên ở Needham và Newton gần đó, là con trai của Dorothy Louise (Dunton) và Walter F. Murphy.[9][10] Gia đình ông là tầng lớp trung lưu trong cộng đồng, người Mỹ gốc Ireland, ông là thế hệ thứ ba. Theo hồi ức của ông, mẹ ông là một thư ký và bố ông là một học sinh trung học bỏ học, người đã từng làm nhiều loại công việc trong xã hội như quản lý cửa hàng rượu, người bán rượu được trả lương, sống bằng tiền lương.[11][12][13][14] Cả bố và mẹ của ông đều là những người ủng hộ nhiệt tình của John F. Kennedy và tình nguyện tham gia chiến dịch tranh cử của ông trong cuộc bầu cử Thượng viện Hoa Kỳ năm 1952 tại Massachusetts.[15] Ông theo học phổ thông tại quê nhà, từng chơi bóng đá khi còn là một cậu bé, một niềm yêu thích vẫn luôn có trong cuộc sống sau này. Trong gia đình, mẹ ông rất tin tưởng vào tầm quan trọng của giáo dục, ông và ba người anh chị đều đạt được bằng đại học.[16]

Phil Murphy tốt nghiệp Trường Trung học Needham vào năm 1975 cùng với Charlie Baker, người về sau là Thống đốc Massachusetts.[17] Ông tốt nghiệp Đại học Harvard năm 1979 với bằng Cử nhân Nghệ thuật chuyên ngành Kinh tế.[18][19] Tại Harvard, ông từng tham gia hoạt động âm nhạc với tư cách một nghệ sĩ biểu diễn nhạc kịch chuyên nghiệp và được bầu làm Chủ tịch của Hasty Pudding Theatricals, một hội sinh viên sân khấu.[20] Sau nghi tốt nghiệp Harvard, ông tới Pennsylvania, theo học tại Trường Wharton của Đại học Pennsylvania, nhận bằng MBA năm 1983.[21]